數位化時代裡,不管我們正在做什麼、想要做什麼,過程中都在產生資料,可以說每個人是巨量資料的發展歷程,譬如每個月收到信用卡的電子帳單,在網路銀行看到交易足跡,玩遊戲排名也在製造數位軌跡,串流平台、線上直播也是在製造與收集重要價值的內容,Amazon 等線上 / 實體廠商透過網路做下單銷售與到貨服務,取得服務過程都會留下資料。大數據生產來源,大概有以下四大區塊:
全球各地各行各業每天都在產生大數據,新的數據的收集方法、來源包含網路(社交網絡、電子商務等每日使用產生、各種使用者操作和訂單存儲)、各行各業(數據總量 ERP / CRM、存儲網頁官網型錄 / 論壇、每天產生的查詢請求,醫療院所中病人的 CT / MRI 影像及電子病歷)及物聯網(感測器、傳感器、各類條碼、RFID、位置訊息、路口 / 提款機 / 居家網路監控影像等),透過行動裝置(APP、LINE、行動支付等)採集即時數據,使用演算法(BI、AI)輔助收集、分類與整理非結構化的數據形態(圖片、影像、音樂、電子票據等),資料的獲取、存儲、處理成本逐漸下降,也推動了資料量的膨脹。